Sekolah ini telah ditubuhkan pada awalnya di Kampung Kenanga Batu 17, Rawang sebagai Sekolah Agama Menengah Ibnu Khaldun pada 1983. Pada ketika ini para pelajar ditumpangkan di bangunan Sekolah Rendah Agama Ibnu Khaldun. Pada 1984, asrama bagi menempatkan pelajar putera dan puteri mula dibina. Manakala kelas perintis untuk pelajar tingkatan 4 dimulakan pada tahun 1987.

Pada bulan Oktober 1990, para pelajar telah dipindahkan ke Batu 16, Jalan Ipoh, Rawang dan diberi nama Sekolah Agama Menengah Rawang. Pada 1995 pula, upacara pecah tanah bagi projek pembinaan surau sekolah telah dilakukan oleh Y.A.B. Tan SriMuhammad bin Mohd Taib yang merupakan Menteri Besar pada ketika itu.